雷達信號處理重點實驗室陳渤團隊學生論文分別被頂會ICML和ACL錄用

（通訊員 段志斌）近期雷達信號處理國家級重點實驗室陳渤教授團隊的碩士生段志斌和博士生王東升，以及本科生李曄文，任杰合作完成的工作，《Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network》，被第38屆國際機器學習會議(International Conference on Machine Learning, https://icml.cc/)（下稱ICML 2021） 錄用。作為機器學習領域的頂級國際會議，該會議引領著機器學習領域的發展方向，具有廣泛且深遠的國際影響力。今年一共有1184篇論文被ICML 2021接收，接收率創近五年來最低僅為21.4%，因此在該會議發表論文表達了對研究工作的高度肯定。除此之外，碩士生段志斌和博士張昊（現為美國康奈爾大學博后）合作完成的工作，《EnsLM: Ensemble Language Model for Data Diversity by Semantic Clustering》，也成功被計算語言學協會第59屆年會暨第11屆自然語言處理國際聯席會議(The Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, https://2021.aclweb.org/)（下稱ACL-IJCNLP 2021） 主會長文錄用。 作為自然語言領域的頂級國際會議，該會議引領自然語言處理領域的前沿發展方向，具有廣泛且深遠的國際影響力。本屆ACL共計收到3350篇論文投稿，最終有21.3%的論文錄用到主會。

本次在ICML 2021發表的研究是基于團隊在深度概率統計模型方面的系列工作。眾所周知，此次人工智能新一輪的浪潮起源于深度神經網絡，如何構建起深層而有效的神經網絡是一項非常具有挑戰性且關鍵的核心技術。何凱明等人于2014 年提出一種殘差式網絡，將神經網絡不同層的隱層特征構建起依賴關系，將卷積神經網絡擴展至110層取得了顯著的效果，引領了計算機視覺領域的發展。而針對傳統概率變分自編碼器難以構建有效的深層生成網絡的限制，本文創造性的提出一種新穎的鋸齒形網絡結構。區別于傳統神經網絡逐層參數獨立的假設，鋸齒形神經網絡能夠將不同層的網絡參數構建起依賴關系，進一步的促進信息傳播，以構建起深層有效的網絡結構。該種網絡結構成功的被應用于伽馬信念網絡中，取得了良好的效果。

圖1：(a) 伽馬信念網絡（b）本文提出的鋸齒形生成模型，以及構建起的新型變分自編碼器

圖2：(a) 單詞與主題向量投影（b）不同層的主題向量投影

除次之外，鋸齒形網絡結構能夠將多層的網絡參數投影至同一空間中，具有更強的可解釋性。 如圖2所示，語義相似的單詞會投影在相似的區域中，并且不同層的主題也會被投影于同一空間。 圖三中展示了15層的網絡結構，說明在深層依然可以學習到有意義的網絡結構，展示出模型的強大建模能力。

圖3：15-層網絡結構的可視化

值得注意的是此工作是本科生參與合作完成的，來自電院17級的李曄文和任杰同學于2019年因為對相關方向的濃厚興趣加入陳渤教授團隊從事概率統計模型科研實習。在此次論文的發表過程中擔當著重要的角色，體現了電子工程學院對本科生全面素質教育的重視，反映了雷達信號處理國家級重點實驗室對本科生科研的支持與幫助。 對電院所有在讀和即將步入學院的本科生是一種鼓勵，希望有興趣的同學可以在學有余力的情況下在本科階段接觸科研，培養對科研的興趣。同時，陳渤教授團隊也歡迎學有余力的本科生加入我們團隊進行學習交流。

本次在ACL2021發表的研究是基于團隊在自然語言模型方面的工作。在文本處理領域，傳統自然語言模型難以捕捉文本之間語義的差異性。 本文中提出一種兩層的變分自編碼器，其能夠根據文本的語義進行聚類，這種聚類可以被理解為域。根據聚類結果，對傳統自然語言模型進行域自適應操作，以更好地應對不同的數據。該方法被成功應用于文本分類，文本生成，抽象式摘要生成等任務中，并取得了不錯的效果。

圖4： 不同語義類別下的文本，以及生成的文本

繼本次ICML2021發表的Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network以及ACL2021發表的EnsLM: Ensemble Language Model for Data Diversity by Semantic Clustering，陳渤教授團隊的深度概率統計框架在實際應用方向上再次取得了重要成果。概率統計深度網絡框架旨在將概率統計模型與傳統深度網絡相結合，進而將概率模型的可解釋性融入到深度網絡中，并提高深度模型在實際應用上的性能。在2015年至今的五年時間里，陳渤教授團隊已構建了一套完整的概率統計深度模型族，分別是概率深度全連接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全連接自編碼模型（ICLR2018、TPAMI2020、ICML2021）、概率深度卷積網絡（ICML2019 、NIPS2020）、概率深度多模態模型（ICLR2020）、概率深度動態網絡（NIPS2018、ICML2020）和圖概率深度網絡（NIPS2020），概率深度語言模型（ACL 2021）。這一系列工作為概率模型與傳統深度網絡的結合提供了關鍵技術支撐，并結合現實問題在實際應用中獲得了突破。

這兩篇工作的錄用，意味著國際學術界對學校研究成果的認可。通過這兩篇文章，一方面，我們向國際同行展示了西安電子科技大學雷達信號處理國家重點實驗室師生在機器學習和自然語言處理領域的研究能力和成果，擴大了學校的學術影響力，另一方面促進了實驗室與領域內頂尖學者的交流以及對該領域最新研究進展的了解。